Asō Tarō sinh ngày 20 tháng 9 năm 1940 tại Iizuka, Fukuoka. Cha ông là Asō Takakichi từng là chủ tịch Công ty Xi măng Asō và là người thân cận của thủ tướng Tanaka Kakuei. Mẹ ông là con gái của cựu thủ tướng Yoshida Shigeru. Asō Tarō là cháu bốn đời của Ōkubo Toshimichi. Phu nhân của Asō Tarō là con gái thứ ba của cựu thủ tướng Suzuki Zenko. Em gái của ông là vương phi (vợ của hoàng tử) Tomohito no Mikasa.

Asō tốt nghiệp Đại học Gakushuin, ngành chính trị. Ông từng theo học bậc sau đại học, lúc đầu tại Đại học Stanford và tiếp theo là tại Trường Kinh tế Luân Đôn.

Năm 1966, ông vào làm tại công ty khai thác khoáng sản của cha, từng làm chủ tịch của công ty này trong thời kỳ từ 1973 đến 1979, và có thời gian 2 năm làm nghề khai thác kim cương tại Sierra Leone.

Asō mê môn thể thao bắn súng. Ông từng là thành viên đội tuyển quốc gia môn bắn súng của Nhật Bản tại Thế vận hội mùa hè 1978 tổ chức tại Montreal, Canada.